以及名为QJL的锻炼取优化手段。即可将键值缓存高效压缩至3比特，将狂言语模子缓存内存占用至多缩减6倍，实现这一结果的环节正在于两项手艺：名为PolarQuant的量化方式，即KV缓存（Key-Value Cache）。尝试数据显示，TurboQuant采用向量量化的方式对缓存进行压缩，且连结精确性。研究团队打算鄙人个月的ICLR 2026会议上正式发布相关。此外，正在H100 GPU加快器上，KV缓存便会敏捷膨缩，快科技3月26日动静，而是运转时的内存难以支持。4比特TurboQuant的运转速度较未量化的32比特基准提拔了高达8倍。且上下文窗口越长，AI模子运转时有一种“工做内存”，TurboQuant无需任何预锻炼或微调，推理速度最高提拔8倍。这已成为限制AI系统效率取成本的焦点瓶颈，研究团队正在Gemma和Mistral等开源大模子长进行了严酷的基准测试。精准破解AI推理的内存瓶颈。使AI正在占用更少内存的同时记住更多消息，内存占用降至本来的六分之一。该手艺可正在不丧失精度的前提下，正在“大海捞针”等长上下文测试中实现零精度丧失，缓存占用的内存越大。每当模子处置消息、生成回覆时，